Apabila Perang Dunia Kedua meletus, beliau memimpin Luftflotte 3 (Armada Udara 3) Jerman. Unit ini tidak terbabit semasa kempen Poland, tetapi digunakan dari bulan Mei dan seterusnya di Perancis, memainkan peranan penting sebagai unit sokongan pengebom taktikal. Pada Julai 1940, beliau dilantik sebagai Generalfeldmarschall Luftwaffe semasa dalam Upacara Fil Marsyal 1940. Armada Udara Ke-3, ditempatkan di utara Perancis, memainkan peranan penting dalam Pertempuran Britain, dari Jun 1940 hingga Oktober 1940 dan The Blitz, hingga Mei 1941. Pada September Sperrle terbabit dalam perdebatan hangat dengan komander Luftwaffe yang lain, terutamanya dengan Panglima Tertingginya Hermann Goering, berhujah untuk meneruskan serangan terhadap lapangan terbang British dan Tentera Udara Diraja bagi memastikan kejayaan pencerobohan Britain. Bagaimanapun, Göring mengarah satu perubahan pada strategi Luftwaffe, menukar serangan keatas bandar-bandar British (yang memiliki kesan tidak sengaja bagi meringankan tekanan Jerman terhadap RAF). Pasukannya terus mengebom Britain sehingga musim gugur tahun 1941.[2]

Beliau kekal bersama unitnya di Perancis untuk 3 tahun berikutnya, hidup dengan mewah di Istana Luxembourg. Peranan utamanya dalam perang, bagaimanapun telah berakhir. Beliau menyokong Erwin Rommel semasa Kempen Afrika Utara dan akhirnya mengambil alih pemerintahan penuh angkatan tentera udara Jerman di Eropah Barat pada tahun 1944, sejurus sebelum pendaratan Bersekutu di Eropah Barat. Pasukannya terjejas teruk akibat kekurangan kapal terbang, krew berpengalaman, dan bahan api. Sungguhpun pada awalnya seorang penyokong Nazi, beliau semakin kecewa dengan usaha perang Jerman. Semasa D-Day beliau hanya memiliki 319 buah pesawat beroperasi yang tinggal bagi menghadapi armada pihak Bersekutu dengan kekuatan lebih dari 9,000 kapal terbang. Akibat ketidakupayaan unitnya bagi menghalang pendaratan tentera Bersekutu, beliau disingkirkan dari pemerintahan pada Ogos 1944.[3]

Fil Marsyal Sperrle ditahan oleh pihak Bersekutu dan didakwa dengan jenayah perang dalam Perbicaraan Pemerintah Tertinggi di Perbicaraan Nuremberg Terkemudian tetapi dibebaskan. Selepas perang, beliau hidup secara senyap dan meninggal dunia di Munich pada tahun 1953.[3]